"If the data can speak for themselves they can also lie for themselves"
"If you torture the data long enough, it will confess"
También conocido como data dredging (dragado de datos), data fishing o fishing expedition.
8 de junio de 2017
"If the data can speak for themselves they can also lie for themselves"
"If you torture the data long enough, it will confess"
También conocido como data dredging (dragado de datos), data fishing o fishing expedition.
Este trabajo ilustra lo sencillo que resulta obtener resultados significativos en estudios estadísticos, exista o no efecto subyacente.
Individuos se sienten más mayores tras escuchar una canción infantil.
Individuos SON más jóvenes tras escuchar "When I'm sixty four" (The Beatles).
¿Cómo se puede haber llegado a estas conclusiones (sobre todo la segunda)?
En general existen innumerables factores de análisis que se eligen de forma arbitraria. Estos factores son lo que los autores llaman grados de libertad del investigador.
Por cada grado de libertad que tenemos podemos hacer un análisis distinto y su combinación multiplica el número de análisis que podemos hacer.
Grados de libertad:
Otro grado de libertad ampliamente utilizado es la posibilidad de modular el tamaño muestral del estudio a conveniencia de los resultados buscados
El uso de los grados de libertad es una herramienta de primer orden para encontrar (las haya o no) asociaciones en los datos.
Según Wikipedia uno de los libros con mayor éxito de la historia de la estadística (1.5 millones de copias vendidas sólo en su edición en ingles).
15000 bancos de datos, respuesta independiente de la covariable.
Grados de libertad:
El uso de grados de libertad en los dos estudios anteriores es un ejemplo de P-hacking que conduce a encontrar relaciones significativos cuando no existen realmente.
"Building on evidence that men are sexually attracted to women wearing or surrounded by red, we tested whether women show a behavioral tendency toward wearing reddish clothing when at peak fertility. … Women at high conception risk were more than three times more likely to wear a red or pink shirt than were women at low conception risk. … Our results thus suggest that red and pink adornment in women is reliably associated with fertility and that female ovulation, long assumed to be hidden, is associated with a salient visual cue."
El artículo en breve generó controversia por los "grados de libertad" del estudio:
Bastantes otros resultados podrían dar lugar a "bonitas historias": ¿Mujeres en periodo fertil evitan colores oscuros? ¿Mujeres en periodo fertil usan más tangas?
Estos resultados serían seguramente espúreos pero podrían ser publicados con facilidad.
Carp (2012) enumera los factores que intervienen en análisis estadísticos de fMRI.
Carp identifica 10 factores (analysis steps) en la literatura con entre 2 y 4 posibles elecciones, sumando un total de 6912 combinaciones posibles.
90.3% de los voxels dieron resultados significativos para alguna de las 6912 combinaciones de los parámetros evaluadas.
Básicamente, cualquier voxel que quisiéramos podría ser catalogado como significativo.
"Premio" IGnobel 2012 en neurociencias (Poster original)
Someten a un salmón muerto a fMRI para ver qué regiones cerebrales se activan ante distintos estímulos.
Si no implementan métodos de corrección de errores adecuado "detectan" regiones cerebrales que se activan.